#token budget - AI Papers Daily

What Outcome RL Buys: Finishing, Reliability, Rarely Reach

结果奖励 RL 买到了什么：完成、可靠，很少是全新可达

🧭 Outcome RL 训练效果分解与归因

Individual Researcher

将 outcome RL 的 pass@1 提升分解为完成、可靠与可达，发现主要改善完成和稳定性，很少带来新能力

📌 工作参考价值（4 点）

在 LLM Agent / 搜索改写 / 生成式推荐等有 token 预算或延迟上限的场景，评估应区分 finishing（限时内是否答完）与 reliability（答完后是否做对），否则容易把超时当成不会做，误判模型能力。
如果线上 LLM 生成 query、文案或推理链路经常因超时截断，优先增加 token 预算或压缩推理长度，比盲目上 outcome RL 更直接；本研究显示基础模型在更多 token 下能自我缩小大部分 finishing gap。
Outcome RL 的收益主要是稳定性/一致性，而不是解决全新问题；在推荐/广告的 LLM pipeline 中，更适合用它来做排序一致性、生成候选再打分等稳定性优化，而不是期待它探索完全未见过的新 item 或新 query。
线上监控可同时跟踪 finishing rate、reliability 和 reach 三类指标，先定位瓶颈；例如如果 finishing 已经很高，但 reliability 低，再考虑 RL 或样本重排等策略。

Training | 2026-10-25 | HF Daily | score 7/10

预训练中知识获取：辅助视图让 LLM 学得更好

🧭 LLM 预训练数据表示与知识获取

University of Pennsylvania

辅助视图（知识重构）在固定 token 预算下比重复更能提升 LLM 知识获取，且不依赖强 teacher 生成

📌 工作参考价值（4 点）

在电商/推荐场景构建训练数据时，不要只重复原始商品描述或用户评论，可引入多种辅助视图（如改写描述、属性问答、用户评价总结、知识图谱陈述）来覆盖同一知识的不同表述，提升模型对商品知识的记忆与推理。
固定 token 预算下，优先增加辅助视图而非同文档重复。例如在微调商品理解模型时，将重复样本的 budget 分配给同一商品的不同表述（不同风格、不同角度），能更高效利用 token，尤其对事实类属性（品牌、成分、适用人群）的 recall 有提升。
辅助视图的生成不依赖强 teacher 模型，所以业务中可以用低成本 LLM 或规则模板生成多样化视图，无需昂贵的 GPT-4 级别 teacher，也能获得知识学习增益。
预训练或领域继续训练时，数据多样性不足（同一商品反复出现相同描述）可能导致知识获取低效；应控制重复度，增加表述多样性。这验证了数据多样性在推荐领域大模型训练中的价值，可指导数据清洗和配比策略。

Training | 2026-09-03 | cs.CL | score 7/10